Ivan và gia đình của ông bị giam giữ trong pháo đài Dünamünde. Vào tháng 6 năm 1744, sau vụ Lopukhina, Nữ hoàng Elizaveta của Nga chuyển Ivan tới Kholmogory trên Biển Trắng. Ông bị cô lập với gia đình và không được ra ngoài. Khi tin tức về sự giam giữ của ông ở Kholmogory lan truyền rộng rãi hơn, Nữ hoàng Nga bí mật chuyển Ivan sang pháo đài Shlisselburg (1756) và canh gác ông chặt chẽ, các tài liệu và ấn phẩm mang danh hiệu của Ivan đều bị tiêu hủy.

Khi Pyotr III của Nga lên ngôi, tình hình của cựu vương Ivan được cải thiện. Sa hoàng mới đã đến thăm và thông cảm với hoàn cảnh của ông, nhưng ít lâu sau thì Sa hoàng Nga bị vợ là Ekaterina truất phế và cướp ngôi, tình hình của Ivan ngày càng xấu hơn.